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Beschreibung 

Augmented-Reality-System zur situationsgerechten Unterstut- 
zung der Interaktion zwischen einem Anwender und einer tech- 
■5 nischen Vorrichtung . 

Die Erfindung betrifft ein Augmented- Real i ty-System zur si- 
tuationsgerechten Unterstlitzung der Interaktion zwischen ei- 
nem Anwender und einer technischen Vorrichtung. 

10 ; • ■•■ • 

Ein derartiges System und Verf ahren kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und . 
Werkzeugmaschinen, bei Diagnose- /Serviceunters tut zungssyste-_ 
men sowie fur komplexe Komponenten, Gerate und Systeme, wie 

15 beispielsweise Fahrzeuge und industrielle Maschinen und Anla- 
gen zum Einsatz. 

Der Erfindung liegt die Aufgabe zugrunde, ein System, und ein 
Verf ahren anzugeben, das in konkreten Arbeitssituationeh auf 
20 einfache und kostengiinstige weise einen schnellen und siche- 
ren Unterstutzung eines Anwenders ermoglicht. 

Diese Aufgabe wird durch ein System bzw. durch Verf ahren mit 
den in den Anspriichen 1 bzw^. 6 angegebenen Merkmalen gel6st. 

25 

Der Erfindung liegt die Erkenntnis zugrunde, da£ der Anwender 
einer technischen Vorrichtung in der Regel bestimmte Schulun- 
gen absolvieren muB, bevor er in der Lage ist, komplexere 
technische Arbeiten, beispielsweise die Herstellung eines 

3 0 . Zwischen uhd/oder eines Endprodukts bis hin zur Montage eines 
Autos auszufuhren. Eine prozessoptimierter Einsatz eines der- 
artigen Werkers kann dadurch erzielt werden, daS der Werker 
durch das Augmented- Reality- System situationsgerechten unter- 
sttitzt wird. Dabei werden reale Inf ormationen, beispielsweise 

35 der Ausgangszustand eines zu fertigenden Teils erfaSt und von 
System kontextabhangig hiervon die kommenden Arbeitsf olgen 
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fur den Anwender ermittelt und diesem in der mobilen Vorrich- t 
• tung angezeigt . 

Insbesondere bei NC-gesteuerten Anwendungen ergibt sich durch 
5 die Moglichkeit zur Einblendung von Simulationsdaten eine 
weitere zusatzliche Unterstutzung fur den Anwender/ Wer- 
ker/Arbeiter . Mit Hilfe des Augmented Reality-Systems konnen 
dabei reale Information mit rechnergenerierten Visualisierun- 
gen auf Basis von Simulationsdaten uberlagert werden . Durch 
10 die Uberlagerung von realer Information mit rechnergenerier- 
ten Visualisierungen auf Basis von Simualtionsdaten ergibt 
sich eine Unterstiitzung der Einrichtung von NC-gesteuerten 
Prozessen / Anwendungen . 

J 15 Vorteilhafte Ausgestaltungen bestehen darin, dafi die Dokumen- 
tationsdaten statische und/oder dynamische Inf ormationsdaten 
sind. Beispiele fur derartige statische Inf ormationen sind 
technische Daten aus Handbuchern, Explbsionszeichnungen, War- 
tungsanweisungen etc.. Beispiele fur dynamische Inf ormationen 
20 sind ProzeSwerte wie Temperatur, Druck, Signale etc. 

Ein schneller situationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstiitzt, dafi die Erfassungs- 
mittel eine Bildauf nahmevorrichtung aufweisen, dafi die Aus- 

25 wertemittel zur Auswertung der realen Inf ormation in der Wei- 
se vorgesehen sind, daS aus der realen Inf ormation ein 
Eisatzkontext , insbesondere ein Objekt der Dokumentationsda- 
. ten ermittelt wird und daS das System Visualisierungsmittel 
zur Visual isierung der Dokumentationsdaten aufweist. 

30 \ : 

Ein schneller situationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstutzt, daE die Erfassungs- 
mittel anwendergesteuert sind und insbesondere als sprachge- 
steuerte Erf assungsmittel und/oder durch Steuerdaten gesteu- 

35 erte Erf assungsmittel ausgebildet sind. 
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Ein fur viele Anwendungsf alle. optimaler Einsatz von Augmen- 
ted-Reality-Techniken auf Basis der statischen und/oder dyna- 
mischen Dokumentations- und/oder Prozefidaten kann in der Wei- 
se erfolgen, daS die Erf assungsmittel und/oder die Visuali- 
sierungsmittel als Datenbrille ausgebildet sind. 

Im folgenden wird die Erf indung anhand der in den Figuren 
dargestellten Ausf uhrungsbeispiele naher beschrieben und er- 
lautert . 

Es zeigen : 

FIG 1 ein Blockschaltbild eines ersten Ausfuhrungsbei- 

spiels eines Augmented-Real ity- Systems , 

ein weiteres Blockschaltbild eines Ausf uhrungsbei- 
spiels eines Augmented-Real ity- Systems und 

ein Anwendungsbeispiel fur einen si tuationsgerech-. 
ten Zugriff auf Expert enwis sen und/oder Dokumenta- 
tionsdaten. 

Figur 1 zeigt eine Prinzipdarstellung eines Augmented- 
Reality-Systems ziir Ubertragurig von ersten Inf ormationsdaten 
von einem ersten Ort 01 an einen entfernten zweiten Ort 02 
eines Experten fur eine Unterstiitzung eines Anwenders am er- 
sten Ort 01 beispielsweise im Service- und/oder Reparaturf all 
durch den entfernten Experten am zweiten Ort . Der Anwender, 

der in Figur 1 nicht explizi.t ..darg.es telLt.. 1st ...:.is.t mit.. mobi- 

len Geraten 4, Jo ausgestattet . Die mobilen Gerate 4, 6 bein- 
halten eine Datenbrille 4, an der eine Videokamera 2 sowie 
ein Mikrofon 11 angeordnet ist. Die Datenbrille ist mit einer 
Einrichtung zur drahtloseri Kommunikation, beispielsweise ei- 
ner Funk-Sende-Empf angsvorrichtung 6. gekoppelt, die uber eine 
Funkschnittstelle 15 mit dem Automatisierungssystem Al..An 


FIG 2 


FIG 3 
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kommunizieren kann. Das Automatisierungssystem Al..An ist 
uber eine Datenverbindung 14 mit -einem Augmented-Reality- 
System 10 koppelbar, welches im folgenden auch abkurzend als 
AR- System bezeichnet wird. Das AR-System enthalt ein Informa- 
5 tionsmodul lb zur Speicherung bzw. zum Zugriff von bzw. auf 
Informationsdaten, ein AR-Basismodul 8 sowie ein AR- 
r Anwendungsmodul . 9 . Das AR-System 10 ist uber eine Datenver- 
bindung 13 mit dem Internet 5 verbindbar, wobei iiber- eine 
beispielhaft dargestellte Internetverbindung 12 ein Zugriff 
10 auf weifere Speicher- und Dokumentationsdaten la moglich ist. 

Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- 
Sende-Einrichtung 7 ausgestattet ist.,- ist in der Lage/ sich 
fiir Wartungs- und Servicezwecke in der Anlage Al..An frei zu 

15 bewegen. 1st beispielsweise die Wartung oder Reparatur einer 
bestimmten Teilkomponente der Anlagen Al. .An erf orderlich, so 
wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenf alls 
gesteuert durch Sprachkommandos , die vom Mikrofon 11 erfaSt 
werden, ein entsprechender Zugang zu den relevant en Dokumen- 

20 tationsdaten la, lb hergestellt. Hierzu wird uber die Funk- 
schnittstelle 15 eine Datenverbindung zur 7^nlage Al.. •An- oder 
einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten 
an das AR-System 10 ubermittelt. Im AR-System eVfolgt eine 
situationsgerechte Auswertung der vom Anwender erhaltenen Da- 

25 ten und ein automatischer oder auch ein interaktiv vom Anwen- 
der gesteuerter Zugriff auf Inf oramtionsdaten la, lb. Die er- 
■ mittelten relevanten Dokumentationsdaten la., lb, werden uber 
die Datenverbindungen 14., 15 an die Funk-Sende-Einrichtung 6 
ubermittelt und insgesamt erfolgt auf Basis der erfaSten Ar- 

30 beitssituation somit eine Analyse, die Grundlage fur die Aus- 
wahl von Daten aus der vorliegenden statischen Information 
ist. Hierdurch ergibt sich eine situationsgerechte, objekt- 
orientierte bzw. bauteilorientierte Auswahl relevanten Wis - 
sens aus den aktuellsten Datenquellen, la, lb. Die Anzeige der 

35 Information erfolgt mit Hilfe der jeweils verwendeten Visua- 
lisierungskomponente, beispielsweise einem Handheld-PC oder 
einer Datenbrille. Von AR-basierten Technologien gesprochen 
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wird. Der Anwender vor Ort wird. somit lediglich mit der In- 
formation versorgt, die er braucht . Diese Information befin- 
det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 
niker wird beispielsweise nicht durch ein " 100 Sei ten-Manual " 
5 mit Inf ormationen tiberf rachtet . 

Figur 2 zeigt ein weiteres Anwendungsbei spiel eines Systems 
zur Dokumen t a t i ons ver arbe i tung fur Service und Wartung. Das 
System besteht aus einem Augmented-Reality- System 10, welches 

10 ein Inf ormationsmodul lb zur Speicherung von Inf ormationsda- 
ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9ent- 
h&lt. Das AR-System 10 ist liber Bindungsleitungen 13, 18 ans 
Internet 5 ankoppelbar. Von.dort besteht iiber eine beispiel- 
hafte Datenverbindung 12 eine Verbindungsmoglichkeit zu einem 

15 entfernten PC 16 mit einem entfernten Experten 22. Die Kopp- 
lung zwischen den einzelnen Modulen des AR- Systems 10 erfoigt 
iiber Verbindungen 19, 20, 21. Die Anwender kommunikat ion zwi- 
schen einem Anwender 7 und dem AR-System erfoigt iiber 
Schnittstellen 8, 23 . Hierzu ist das AR-System mit einer Sen- 

20 de-Empf angs-Vorrichtung koppelbar, die eine bidirektionale 

Datenkommunikation zwischen dem AR-System 10 und dem Anwender 
7 uber eine Datenbrille 4 entweder direkt liber die Schnitt- 
stelle 8 oder iiber ein im Bereich des Anwenders 7 angeordnete 
Funk-Sende-Empf angseinrichtung 17 iiber eine Schnitts telle 2 3 

25 ermoglicht. Die Verbindung 23 kann uber eine separate Daten- 
verbindung bder iiber das Stromnetz als "Power-Line "-Modem 
realisiert werden. Die Datenbrille 4 enthalt neben einer' im 
Bereich der Brillengl&ser angeordneten Anzeigevorrichtung ei- 
ne Bilderf assungsvorrichtung 2 in Form einer Kamera sowie ein 

30 Mikrofon 11. Der Anwender . 7 kann sich mit Hilfe der Daten- 
brille 4 im Bereich der Anlagen Al..An bewegen und Service- 
oder Wartungsarbeiten durchfiihren. 

Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- 
3 5 Sende-Empf angsvorrichtungen, beispielsweise der. Funk-Sende- 
Empf angsvorrichtung 17, die vom Personal direkt am Korper ge- 
tragen wird, ist es mSglich vorbeugende Funktionalit&t zu er- 
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reichen : Zunachst erfolgt die Erf assung der jeweiligen Ar- 
beitssituation, beispielsweise durch die Kamera 2 oder durch 
Lokalisierung durch das Personal 7. Auf Basis der erfaSten 
Arbeitsssituation erfolgt im AR-System eine Auswahl von Daten 
5 gewarteten Anlage Al..An. Der grundlegende Vorteil des in Fi- 
gur 3 dargestellten Systems besteht darin, dafi dieses System 
das Zusammenwirken der einzelnen Einzelf unktionalitaten an- 
wendungsgerecht unterstutzt: So wird zunachst eine konkrete 
Arbeitssituation automatisch erfafit, diese Arbeitssituation 

10 anschliefeend analysiert, wobei aus der aktuellsten, vorlie- 
genden statischen Information in Kombination mit den augen- 
blicklich erfaSten dynamischen Daten automatisch die gerade 

relevanten Aspekte ermittelt werden. Hierdurch werden bei-.. 

spielsweise Montagehinweise mit aktuellen Prozefidaten korre- 

15 liert. Das Personal 7 erhalt hierdurch eine situationsgerech- 
te Anzeige der relevanten Informationen beispielsweise durch 
eine iiberlagerte Visual isierung der entsprechenden Daten in 
der Weise, daS im Sichtfeld des Personals die reale Arbeits- 
situation urn die ermittelten Informationen erweitert wird. 

20 Hierdurch wird das Personal 7 in kurzester Zeit handlungsfa- 
hig gemacht und damit notwendige Maschinenlauf zeiten gesi- 
chert. Unterstutzung kann der Wartungstechniker 7 vor Ort 
auch iiber den entfernten Expert en 22 und das am Ort des ent- 
fernten Experten 22 vorliegende Wissen 16 erhalten. 

25 

Figur 3 zeigt ein Anwendungsbei spiel fur einen situationsge- 
rechten Zugriff auf Dokument at ions daten . Figur 3 zeigt einen 
ersten Bildschirmbereich Bl, in dem eine Anlagenkomponente 
dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An- 

30 wender 7 dargestellt, der beispielsweise eine einzelne Anla- 
genkomponente betrachtet. Der Anwender 7 ist mit einer Daten- 
brille 4 augerustet, die eine Kamera 2 als Erf assungsmittel 
enthait. An der Datenbrille 4 ist daruber hinaus ein Mikrofon 
11 sowie ein Lautsprecher 16 angeordnet . Im linken Bild- 

35 schirmbereicht Bl ist ein Blick auf Rohrleitungen darge- 
stellt, die mit der im Bildfenster B2 dargestellten Daten- 
brille betrachtet werden konnen. Im linken Bildschirmbereich 
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Bl sind zwei Punkte Bl, B2 markiert, die jeweils zwei mit 
Hilfe der Datenbrille 4 betrachtete Bildausschnitte reprasen- 
tieren. Nach Betrachtung des ersten Punkts PI, d.h. nach Be- 
trachtung der im Bereich des Punktes PI angeordneten Rohrlei- 
5 tung werden dem Anwender 7 Zusatzinf ormationen in der Daten- 
brille 4 visualisiert . Diese Zusatzinf ormationen 11 bestehen 
aus Dokumentationsdaten, die bezuglich dess ersten Punktes PI 
Arbeitsanweisungen fur dieses Rohrstuck en thai ten und bezug- 
lich des Punktes P2 die in einem zweiten Schritt durchzuitih- 

10 r ende " Ins t a 1 la t i ons anwe i sung beinhalten. Die Installationsan- 
weisung besteht in diesem Fall darin, daS dem Anwender 7 das 
Drehmoment und die Drehrichtung der Schraubverbindung des . 
Punktes P2 tiber die Visual isierung der Zusatzdaten 112 mitger. 
teilt werden. Der Anwender 7 erhalt somit innerhalb kurzester 

15 Zeit eine situationsgerechte Anweisung fur das * betrachtete 
Objekt. Bei der Verwendung eines intelligenten Werkzeugs, 
welches in der Lage ist, das gerade eingesetzte Drehmoment zu 
erfassen, ist es weiterhin moglich, dafi der Anwender basie- 
rend auf dem aktuellen Drehmoment auch dazu aufgefordert 

20 wird, daS Drehmoment entsprechend zu erhohen oder zu verrin- 
gern. 

Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 
der Erfindung gegeben: Es geht dabei um eine anwendungsorien- 

25 tierte Anforderungsanalyse und Entwicklung von AR-basierten 
Systemen zur Unterstutzung von Arbeitsprozessen in Entwick- 
lung/ Produktion und Service komplexer technischer Produkte 
und Anlagen in der Fertigungs- und Ver f ahrenstechnik, sowie 
f.ur Systeme zur Serviceunterstiitzung wie bei Kraf tf ahrzeugen 

30 oder fur die Wartung beliebiger technischer Gerate/ 


Augmented Reality, kurz AR, ist eine neue. Art der Mensch- 
Technik-Interaktion mit grofiem Potential zur Unterstutzung 
von industriellen Arbeitsprozessen. Bei dieser Technologie 
35 wird das Sichtfeld des Betrachters mit rechnergenerierten 

virtuellen Objekten angereichert , so daS Produkt- bzw. Pro- 
zeSinf ormationen intuitiv genutzt werden konnen. Neben der 
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sehr einfachen Interaktion erschlieSt der Einsatz tragbarer. 
Computer AR-Anwendungsf elder mit hohen Mobilitatsanf orde- 
rungen, wenn beispielsweise ProzeS-, Me£- Oder Simulationsda- 
ten an . das reale Objekt geknlipft we'rden. 

5. - 

Die Situation der deutschen Industrie ist durch steigende 
Kundenanf orderungen an Individualitat und Qualitat der Pro- 
dukte sowie durch eine wesentliche Zeitverkiirzung der Entste- 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 

10 Produktion und Service komplexer technischer Produkte und An- 
lagen konnen mit innovativen Losungen fur die Mensch-Technik- 
Interaktion sowohl Ef fizienz- und Produktivitatssprunge er- 
zielt werden, als auch die Arbeit kompetenz- und lernforderl- 
ich gestaltet werden, indem der Wissiens- und Inf ormationsbe- 

15 darf der Benutzer auf der Basis ohnehin vorliegender Daten , 
situationsgerecht/unterstiitzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl in- 
novativer Anwendungsf elder : 

• So kann. z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
20 auf der Grundlage einer gemischt-virtuellen Umgebung die 

friihen Entwicklungsphasen deutlich beschleunigen . Gegenu- 
ber immersiven, d. h. eintauchenden, „Virtual Reality" - 
(VR) -Losungen besteht fur den Benutzer ein wesentlicher 
Vorteil darin, daS die haptischen Eigenschaf ten mit Hilf e 

25 eines realen Modells naturgetreu abgebildet werden konnen, 

hingegen Aspekte der visuellen Wahrnehmung, z.B. fur An- 
zeigenvarianten, virtuell manipulierbar sind. Dariiber hin- 
aus besteht ein groSes Potential zur benutzerorientierten 
Validierung rechnergestiitzter Modelle, z.B. fiir die Bau- 

30 teilverif ikation oder bei Crash-Test's.' 

• In der flexiblen Produktion kann unter anderem das Ein- 
richten von Maschinen fur qualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B. durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 

35 Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 

Fertigungsplanung und Fertigungssteuerung in der Werkstatt 


BNSDOCID: <WO 0052539A1_L> 


WO 00/52539 


9 


PCT/DEOO/00664 


wird erleichtert, wenn Informationen iiber den jeweiligen 
Auf tragsstatus 'direkt in Verbindung mit den dazugehorigen 
Produkten vor Ort wahrgenommen werden . Das gleiche gilt 
auch fur die Montage, wobei dem Monteur bereits in der 
Trainingsphase die einzelnen Arbeitsschritte gemischt-vir- 
tuell prasentierbar sind. In diesem Zusammenhang konnen, 
z.B. durch den Vergleich realer Montageablauf e mit Simula- 
. - tionsergebnissen, umfassende Optimierungen erreicht. wer- 
den, die . sowohl die Qualitat der Arbeit splanung verbessern 
als auch den MontageprozeE in der kritischen Anlaufphase 
vereinfachen und beschleunigen ... 

• Letztlich geniigen im Service herkommliche Technologien 
kaum mehr, um die komplexen Diagnose- und Behebungsproze- 
duren zu unterstutzen und zu dokumentieren . Da diese Pro- 
zesse in vielen Bereichen aber ohnehih auf Basis von digi- 
talen Daten geplant werden, bieten AR-Technolbgien die 
Moglichkeit, die Inf ormationsquellen fiir die Wartung zu 
xibernehmen und einem Techniker, z.B. in der Datenbrille, 
durch die Uberlagerung mit realen Objekten den Ausbauvor- 
gang zu erlautern. Mit Bezug auf kooperative Arbeit ermog- 
licht das AR-gestutzte ff Femauge" eine. verteilte Problem- 
losung, indem ein entfernter Expert e mit dem Mitarbeiter 
vor Ort iiber globale Distanzen hinweg kommuniziert. Dieser 
Fall ist besonders fiir die iiberwiegend mittelstandischen . 
Werkzeugmaschinenhersteller relevant. Sie sind durch die 
Globalisierung gezwungen, Produktionsstatten ihrer Kunden 
weltweit zu errichten. Jedoch ist eine Prasenz von Nieder- 
lassungen in alien wichtigen Markten weder aus wirtschaft- 
lichen Grunden realisierbar , noch kann auf das profunde 
Wissen erfahrener Service-Mi tarbeiter des Stammhauses 
bzgl . der zunehmend komplexer werdenden Anlagen verzichtet 
werden. 

Die Besonderheit in der Mensch-Technik-Interaktion bei Aug- 
mented Reality liegt in einer sehr einfachen und intuitiven 
Kommunikation mit dem Computer, beispielsweise erganzt durch 
multimodale Interaktionstechniken wie Sprachverarbei tung Oder 
Gestikerkennung . Die Verwendung von tragbaren Com- 
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putereinheiten ermoglicht daruber hinaus vollig rieue mobile 
Nutzungsszenarien, wobei die spezifischen Daten jederzeit 
uber ein drahtloses Netz angefordert werden konnen. Neue Vi- 
sualisierungstechniken erlauben eine direkte Annotation, z.B. 
5 von Me£- oder Simulationsdaten, an das reale Objekt oder in 
die reale Umgebung. In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 
augmented environments) oder in verschiedenen Umgebungen AR- 
10 gestiitzt zu kooperieren. 

Augmented Reality wird erst seit wenigen Jahren intensiv er- 
forscht. Deshalb finden sich sowohl auf natio.naler als auch 
internationaler Ebene nur wenige Anwendungen, zumeist in Form 
von wissenschaf tlichen Prototypen bei Forschungseinrich- 
15 tungen . 

• USA: Wie bei vielen neuen Technologien wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind die Cockpit- 
gestaltung oder die Wartung von mechatronischen Ger&- 

20 ten. Der Flugzeughersteller Boeing hat bereits erste 

Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternommen. Ergebnis ist, daS den USA auch in 
diesem Hightech-Bereich eine Schlusselstellung zu-. 
kommt, die mit einer moglichen Technologief tihrer- 

2 5 schaft einhergeht • 

• Japan; In Japan werden verschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Teleprasenz oder „ Cyber- Shopping * . Keimzelle 
ist das 1997 gegrundete Mixed Reality Systems Labora- 

30 tory, das als Kompetenzzentrum gemeinsam von Wirt- 

schaft und Wissenschaf t getragen wird. Besondere Im- 
pulse im Konsumguterbereich sind zukunftig durch die 
japanische Industrie fur Unterhaltungselektronik zu 
erwarten. 

3 5 • Europa: In Europa sind bislang nur sehr wenige For- 

schergruppen im AR-Bereich tatig. Eine Gruppe.an der 
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Universitat Wien befaSt sich mit Ansatzen fur die ge- 
mischt-feade Visualisierung . Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelaufenen ACTS-Pro jektes 
CICC- erste Anwendungen fur die Bauindustrie und einen 
5 wissenschaf tlichen Prototypen zur Mi tarbeiterschulung 

im Automobilbau entwickelt. 

Die im Erfindung versteht sich insbesondere im speziellen 
Kontext der Anwendungsf elder " Produktions- und Werkzeugma- 
schinen" (NC-gesteuerte, automatisierungstechnische Prozesse) 
10 sowie " Diagnose- /Serviceunterstutzungssysteme fur komplexe 

technische Komponenten/Gerate/Systeme" (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) . 

Die Reihenfolge der Arbeitsschri tte wird durch eine ,/geeigne- 
15 te w Umgebungs- und Situationswahrnehmung verbessert . Die je- 
weilige Kombination aus Arbeitsumgebung, Proze£situation, 
Fortschritt der . Tatigkeit und Wissen des Personals wird aus- 
genutzt, urn die. nachste Abfolge von Hinweisen zu relativieren 

20 Die Grundidee liegt in einem Kontextabhangigen Einblenden von 
Montagehinweisen mit: prozessoptimierter Vergabe der notwendi- 
gen Arbeitsschri tte . Die denkbare Optimierung ist par.ame- 
trierbar z.B. hinsichtlich bestimmten Ressourceneinsatzes 
(Zeit, Material, Kosten, ...). 

25 . 

Zusammenf assend betrifft die Erfindung s omit ein Augmented- 
Reality- System mit einer mobilen Vorrichtung zum kontextab- 
hangigen. Einblenden von Montagehinweisen. Durch das kontext- 
abharigige Einblenden von Montagehinweisen mit prozessopti- 

0 mierter Vorgabe der notwendigen Arbeitsschritte ergibt sich 
eine situationsgerechte Unterstutzung durch von Arbeitsfoi- 
gen. ZusStzlich konnen beispielsweise in AbhSngigkeit be- 
stimmter Montageschritte etc . > d.h. bei einem fest vorgegebe- 
nen Montageablauf weitere die jeweilige Arbeitssi tuation be- 

5 treffende Zusatzhinweise dem Anwender eingeblendet werden. So 
konnen beispielsweise vorbeugende Wartungshinweise etc . kon- 
textabhangig zeit- und prozess- optimiert gegeben werden. 
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Patentanspruche 

1. Augmented-Reality-System zur situationsgerechten Unter- 
stutzung der I-nteraktion zwischen . einem Anwender (1) und ei- 

5 ner technischen Vorrichtung (Al.,An), insbesondere fur tech- 
nische und industrielle Anwendungen, mit Erf assungsmitteln 
zur Erfassung von realen Informationen und mit Mitteln zur 
kontextabhangige Bestimmung von Arbeitsf olgen des Anwenders 
(1) und mit einer mobilen Vorrichtung (4) zum kontextabhan- 
10 gigen Einblenden der Arbeitsf olgen . 

2. System nach Anspruch 1, 

d a d u r c h g e ken n z e i c h n e t , 

da£ das System Mittel zur prozessoptimierten Vergabe der Ar- 
15 beitsschritte aufweist, wobei die Opt imi erung insbesondere 
hinsichtlich bestimmten Ressourceneinsatzes parametrierbar 
ist . 

3. System nach einem der Ansprtiche 1 oder 2, 
20 dadurch gekenn.zeich.net, 

daS das System Erf assungsmittel (2 , 11) mit einer Sensorik, 
insbesondere einer Bildauf nahmevorrichtung zur Erfassung der 
ertsen Informationsdaten sowie Visualisierungsmittel (4) zur 
Visualisierung der zweiten Informationsdaten aufweist. 

25 - ' 

4. System nach einem der Ansprtiche 1 bis 3, 
dadurch gekennzeichne t, 

daJS die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
30 durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 

.5. System nach einem der Anspriiche 1 bis 4, 
d a d u r c h g e k e n n z e i c h net, 
35 da£ die mobile Vorrichtung eine Datenbrille (4) aufweist. 
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6. Verfahren zur situationsgerechten Unterstutzung der Inter 
aktion zwischen einem Anwender (1) unci einer technischen Vor 
richtung (Al..An) in einem Augmented-Reality-System, insbe- 
sondere fur technische und industrielle Anwendungen, bei dem 
5. reale Inf ormationen erfaSt werden und hieraus kontextabhangi 
ge Arbeitsf olgen des Anwenders (1) bestimmt. werden und dem 
Anwender auf der mobilen Vorrichtung (4) kontextabhangige Ar- 
beitsf olgen , eingeblendet werden, 

10 7. Verfahren nach Ahspruch 6, 

d a d u r c h g e k e nnzeichnet, 

daS eine prozessoptimierte Vergabe der Arbeitsschritte vorge- 
sehen ist, wobei die Optimierung insbesondere hinsichtlich 
bestimmten Ressour.ceneinsatz.es parametrierbar ist. 

15 

8. Verfahren nach einem der Anspruche 6 oder 7, 
d a d u r c h g e k e n n z e i c h : n e t , . 

dafi die ersten Informationsdaten mittels Erf assungsmitteln 
(2, 11) mit einer Sensorik, insbesondere einer Bildauf nahme- 
20. vorrichtung erfaSt und dafi die zweiten Informationsdaten mit- 
tels Visualisierungsmitteln (4) dem Anwender. (7) visualisiert 
werden. v 

9. Verfahren nach einem der Anspruche 6 bis 8, 
2 5 dadurch gekennzeichnet, 

daS die .Erf assungsmittel (2 ) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch'^Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. . 

30 

10. Verfahren nach einem der Anspruche 6 bis 9, 
da.durch geke nnzeichnet, 

daE die Erf assungsmittel (2) und/oder die Visualisierungsmi t- 
tel als Datenbrille ausgebildet sind. - • 

35 
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